Tư Mã Diệu sinh năm 362, khi đó cha ông, tức Tư Mã Dục đang có tước hiệu Hội Kê vương và có chức vụ thừa tướng trong triều đình của Ai Đế. Mẹ của ông là Lý Lăng Dung, có xuất thân là một nô tì làm công việc dệt vải, nhưng dựa trên lời phán của pháp sư rằng bà sẽ mang đến cho ông một người kế tự, Tư Mã Dục đã cưới bà làm thiếp, bà sau đó đã sinh ra Tư Mã Diệu. Do ông được sinh ra vào lúc bình minh, bà đặt tên cho ông là Diệu, với tên chữ là Xương Minh, cả hai đều có nghĩa là "bình minh". Một năm sau, bà lại hạ sinh Tư Mã Đạo Tử. Do ông là người con trai lớn nhất còn sống của Tư Mã Dục, Tư Mã Diệu được định là người kế tự, và năm 365, khi ông mới ba tuổi, Tấn Phế Đế đã ra lệnh ban tước hiệu Lang Da vương cho cha ông và tước hiệu Hội Kê vương cho ông. Tư Mã Dục đã từ chối điều này, cả trên phương diện cá nhân và thay mặt con trai.

Năm 371, sau khi thua trận trước tướng Mộ Dung Thùy của Tiền Yên vào năm 369, tướng Hoàn Ôn đã quyết định thể hiện quyền lực của mình bằng cách buộc tội sai Phế Đế bất lực và các hoàng tử không phải là con đẻ của ông, rồi phế truất hoàng đế. Ông ta lập Tư Mã Dục làm hoàng đế mới, mặc dù vậy, quyền lực trên thực tế vẫn do Hoàn Ôn nắm giữ, do vậy, ông ta được coi là người chiếm đoạt ngai vàng nhà Tấn. Năm 372, Tấn Giản Văn Đế lâm bệnh, ông lập Tư Mã Duệ làm thái tử, song ban đầu ông định trao ngai vàng cho Hoàn Ôn nếu như ông ta muốn như vậy. Sau khi Giản Văn Đế băng hà, nhiều đại thần sợ hãi Hoàn Ôn nên đã không ngay lập tức tuyên bố Diệu Thái tử trở thành hoàng đế mới nhằm chờ động thái của Hoàn Ôn.